Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
超越教师分配：领域归一化的多教师在线策略蒸馏
🧭 多教师策略蒸馏 · 领域归一化
Nanyang Technological University · Yale University · University of Manchester
提出 DN-MOPD，按领域反馈 spread 重缩放，解决多教师策略蒸馏中反馈尺度失衡问题
📌 工作参考价值（4 点）
- 在多任务/多专家蒸馏或 RL 融合时，不要只做任务路由，还要监控并平衡不同 reward/teacher 反馈的尺度；可提前统计各领域反馈的标准差，按该值重缩放，避免高方差信号主导共享模型。
- 如果在线估计 spread 成本高，可直接使用离线测得的固定领域权重，论文表明固定权重接近测量值时性能相当，便于工程落地。
- 对电商搜索推荐中的多目标强化学习（如点击率、转化率、GMV 约束），不同目标 reward 方差差异大，容易让某个目标主导策略，可借鉴按目标 spread 归一化再加权。
- 在 Agent 或多 teacher 集成场景，评估各 teacher 反馈分布，优先降权高方差域，而不是单纯提升弱势域，控制实验显示调低主导域反馈是关键。